在 Ubuntu 22.04 上使用 RTX 2070 Super 通过 Ollama 运行 Qwen3.5-9B(GPU 加速)

适用于 Ubuntu 22.04 系统,NVIDIA GeForce RTX 2070 Super 显卡,最终目标是在 Ollama 中运行 Qwen3.5-9B 模型并获得流畅的 GPU 加速效果。

前提条件

1. 确认显卡及当前驱动状态

打开终端,运行:

lspci | grep -i nvidia

应该能看到类似输出:

01:00.0 VGA compatible controller: NVIDIA Corporation TU104 [GeForce RTX 2070 SUPER] (rev a1)

这表明显卡已被系统识别。

接着检查是否已安装 NVIDIA 驱动:

nvidia-smi

2. 安装 NVIDIA 驱动

2.1 更新系统并安装依赖

sudo apt update
sudo apt upgrade -y
sudo apt install -y build-essential dkms

2.2 添加 NVIDIA 驱动 PPA(可选,但推荐)

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update

2.3 安装驱动(推荐使用 535 版本)

sudo apt install -y nvidia-driver-535

你也可以使用其他版本(如 550、570),但 535 是长期支持版,稳定性较高。

2.4 重启系统

sudo reboot

2.5 验证驱动安装

重启后再次运行:

nvidia-smi

如果出现显卡信息、驱动版本等,说明驱动安装成功。


3. 安装 Ollama

3.1 使用官方脚本安装(推荐)

curl -fsSL https://ollama.com/install.sh | sh

安装过程会自动配置 systemd 服务并启动 Ollama。

3.2 配置变量

# 1. 创建 drop-in 目录
sudo mkdir -p /etc/systemd/system/ollama.service.d

# 2. 写入配置(同时设置两个环境变量)
sudo tee /etc/systemd/system/ollama.service.d/override.conf <<EOF
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_HOST=0.0.0.0:11434"
EOF

# 3. 重新加载 systemd 并重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama

3.3 检查 Ollama 服务状态

sudo systemctl status ollama

应显示 active (running)。如果没有运行,执行:

sudo systemctl start ollama
sudo systemctl enable ollama   # 开机自启

3.4 检查 GPU 是否被 Ollama 识别

journalctl -u ollama --no-pager | grep -i gpu

4. 下载并运行模型

4.1 下载 Qwen3.5-9B 模型(约 6.6 GB)

ollama pull qwen3.5:9b

下载完成后,模型会自动保存。

4.2 测试模型并查看性能

ollama run qwen3.5:9b --verbose

在对话界面输入:

你好,请介绍一下你自己

等待回答结束后,终端会显示统计信息,重点关注 eval rate。

total duration:       32.398716053s
load duration:        196.279668ms
prompt eval count:    15 token(s)
prompt eval duration: 106.06147ms
prompt eval rate:     141.43 tokens/s
eval count:           648 token(s)
eval duration:        31.767038583s
eval rate:            20.40 tokens/s

4.3 实时监控 GPU 占用

另开一个终端,运行:

watch -n 1 nvidia-smi

在模型生成答案时,观察 GPU-Util 列是否从 0% 飙升到 80% 以上。如果是,说明 GPU 工作正常。


5. 验证最终结果

完成以上步骤后,应满足以下所有条件:

如果全部通过,恭喜!你现在可以在本地流畅运行 Qwen3.5-9B,并利用其工具调用能力开发机器人 Agent 应用。

6. Dashboard

docker run -d -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://localhost:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

优点:支持对话历史、多模型切换、RAG 文档上传、多用户等,界面类似 ChatGPT。

7. 远程调用方法(API)

无论是否使用 Dashboard,你的 Agent 程序都可以直接通过 HTTP API 调用远程服务器上的模型。

但是可能因为思考过程的长短,而造成输出比较慢(即使是流式)

非流式调用(一次性返回完整响应)

curl http://10.10.151.201:11434/api/chat -d '{
  "model": "qwen3.5:9b",
  "messages": [
    {"role": "system", "content": "You are a helpful assistant. Respond directly without any internal reasoning. Just give the final answer."},
    {"role": "user", "content": "hi"}
  ],
  "stream": false,
  "options": {
    "temperature": 0.2
  }
}'

返回结果:一个完整的 JSON 对象,包含模型生成的回复内容。

流式调用(实时逐块输出)

curl http://10.10.151.201:11434/api/chat -d '{
  "model": "qwen3.5:9b",
  "messages": [
    {"role": "system", "content": "You are a helpful assistant. Respond directly without any internal reasoning. Just give the final answer."},
    {"role": "user", "content": "hi"}
  ],
  "stream": true,
  "options": {
    "temperature": 0.2
  }
}'

返回结果:每行一个 JSON 对象,逐步输出模型生成的内容。最后一行包含 "done":true。


附录:常用命令速查

操作 命令
查看显卡状态 nvidia-smi
实时监控 GPU watch -n 1 nvidia-smi
启动 Ollama 服务 sudo systemctl start ollama
停止 Ollama 服务 sudo systemctl stop ollama
查看 Ollama 日志 journalctl -u ollama -f
列出本地模型 ollama list
删除模型 ollama rm <模型名>
进入模型对话 ollama run <模型名>
查看正在运行(加载到内存)的模型 ollama ps
停止正在运行(加载到内存)的模型 ollama stop <模型名>

如果需要密钥访问,可以参考LiteLLM 网关